Chinay nA HETI] 
c nInaă IVA | F HH T l) 


1 LAMOST 异 构 环境 信息 检索 系统 的 设计 与 实现 * 

2 王政 "“， 王 锋 ”， 田 园 ， 李 建 ， 赵 了 永恒” 

3 ( 1， 中 国 科学 院 光学 天 文 重点 实验 室 ， 国 家 天 文 台 ， 北 京 100101, 

à 2. 广州 大 学 天 体 物理 中 心 ， 广 东 广州 510006; 3， 中 国 科学 院 大 学 ， 北 京 100049) 

5 

6 摘要 : 环境 信息 是 大 天 区 面积 多 目标 光纤 光谱 望远镜 (LAMOST， 即 郭守敬 望远镜 ) 运行 


状态 的 一 部 分 用 于 辅助 望远镜 的 日 常 维护 、 观 测 以 及 后 期 数据 处 理 。 环 境 信 息 来 源 于 多 个 
8 ” 子 系 统 ， 而 子 系统 的 数据 存储 由 不 同 单位 设计 ， 使 得 数据 存储 环境 复杂 ， 不 利于 统一 检索 。 

于 异步 协 程 , 我 们 提出 了 一 种 异 构 环 境 信息 检索 的 方法 。 该 方法 利用 数据 库 代 理 对 象 工厂 
怪 合 多 个 数据 库 及 检索 字段 信息 ， 通 过 客户 端 和 Web 浏览 器 提供 远程 服务 ， 以 自 定 义 检索 
令 的 方式 实现 对 异 构 数 据 库 的 检索 。 本 方法 充分 考虑 了 后 期 升级 的 需求 , 保留 多 种 数据 库 
12 ”和 应 用 接口 ， 便 于 更 多 数据 库 和 应 用 的 接 入 。 目 前 基于 该 方法 开发 的 检索 系统 已 部 署 于 
13 ”LAMOST 运行 环境 ， 在 实际 运行 中 简化 了 运行 环境 检索 操作 ， 提 高 了 工作 效率 和 数据 获取 的 
14 ”精准 度 ， 提 升 了 维护 和 观测 效率 。 
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15 关键 词 : 信息 检索 ;异步 协 程 ，LAMOST 

16 中 图 分 类 号 :TP311 文献 标识 码 : A 

17 

18 LAMOST 是 我 国 自主 研制 的 大 口径 兼 具 大 视 场 的 反射 式 施 密 特 光 学 望远镜 ， 安 置 于 中 国 


19 科学院 国家 天 文 台 兴隆 观测 站 。 该 望远镜 可 以 同时 观测 4000 个 目标 ， 是 世界 上 单 次 观测 获 
20 ” 取 光 谱 数 最 多 的 望远镜 中 。 到 目前 为 止 ，LAMOST 已 观测 、 生 产 、 发 布 了 超过 1000 万 条 天 文 


r= = 除了 生产 天 文 光谱 之 外 ，LAMOST 各 子 系统 每 天 都 会 生成 数 百 万 条 实时 状态 信息 ， 并 存 

O O23 储 在 不 同类 型 的 数据 库 中 ”。 如 图 1 所 示 , LAMOST 运行 环境 是 多 个 子 系统 状态 信息 数据 的 集 
24 ” 合 ， 提 供 各 种 环境 信息 ， 包 含 Weather 子 系统 中 的 气象 信息 和 DIMM 信息 、TCS 子 系统 中 的 
25 ”主动 光学 和 机 架 风速 信息 、GUID 系统 中 的 导 星 信息 、ICS 子 系统 中 的 相机 温度 信息 、0SS A 
26 ” 统 中 的 观测 目标 信息 以 及 OCS 系统 的 观测 信息 ， 是 一 种 由 MySQL、SQLite、PostgreSQL 多 种 
27 ”数据 库 组 成 的 异 构 存储 系统 ”“。 
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图 1 LAMOST 环境 信息 存储 结构 图 


Figure 1 The storage structure of environmental information 


环境 信息 为 望远镜 的 观测 、 维护 以 及 后 期 数据 处 理 提供 重要 的 参考 信息 。 根据 信息 的 应 


用 和 重要 性 ， 可 分 以 下 几 种 类 型 : 


a. 致命 提醒 : 


以 声音 、 mi 


全 。 


会 影响 望远镜 安全 的 突 发 事件 。 观 测 时 ， 如 遇 湿度 过 大 、 大 风 等 突 发 状况 ， 
目 频 内 颜色 等 方式 提醒 观测 者 立刻 停止 观测 ， 关 闭 望 远 镜 ， 以 保护 望远镜 安 


b. 辅助 观测 : 视觉 显示 观测 天 区 和 观测 目标 的 关系 , 辅助 驻 站 天 文学 家 选择 最 佳 的 观测 目 


标 。 


c. 故障 报警 : 望远镜 子 系统 故障 提醒 信息 。 观测 时 , 提醒 观测 者 故障 位 置 , 便于 即使 维修 。 
在 日 常 维护 中 , 现场 维护 人 员 需 快速 检索 望远镜 各 子 系统 的 状态 信息 ， 如 有 噶 常 ， 立 刻 
锁定 问题 及 时 维修 ,确保 望远镜 处 于 最 佳 运行 状态 。 非 现场 维护 人 员 通 过 远程 检索 各 
子 系统 的 状态 信息 ， 协 助 现场 工作 人 员 维 护 望 远 镜 。 维 护 人 员 通 过 统计 长 期 环境 信息 ， 
结合 维护 日 志 以 及 观测 中 遇 到 的 问题 ， 提 出 望远镜 维护 方案 ， 降 低 维护 成 本 和 时 间 , 提 
高 观测 效率 。 


d. 问题 回 淹 : 


在 后 期 数据 处 理 过 程 中 ， 数 据 处 理 人 员 对 争议 光谱 可 回溯 观测 时 环境 信息 ， 


确定 问题 导向 。 


oO 


环境 展示 : 


通过 大 屏幕 集中 展示 当前 观测 及 运行 状态 。 


当前 ，LAMOST 运行 环境 中 的 各 种 状态 信息 相互 孤立 ， 只 能 在 局 域 网 内 以 复杂 的 检索 语 
句 对 同一 种 数据 库 进行 检索 ， 非 现场 工作 人 员 只 能 通过 多 个 代理 跳 转 入 内 网 才 可 以 检索 信 


上 县， 操作 复杂 ， 


存在 暴露 内 网 的 安全 隐患 。 检 索 语 句 因数 据 库 不 同 而 存在 差异 ， 输 入 出 错 


率 高 、 工 作 效 率 低 。 检索 内 容 涉 及 多 个 异 构 数据 库 时 ， 无 法 实现 跨 数据 库 检 索 。 只 能 通过 终 


端 检索 信息 , 方式 单一 , 在 实际 操作 过 程 中 存在 误 删 和 修改 数据 的 安全 隐患 ， 急需 一 种 异 构 
信息 检索 的 方法 。 
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异 构 信息 的 存 取 有 多 种 方法 , 目前 有 基于 Luene FE Solr, ELK, Kata 等 开源 检索 工具 ， 
通过 将 信息 分 析 和 整理 , 建立 统一 的 索引 数据 库 用 于 数据 的 检索 。 但 这 些 工具 需要 经 过 长 期 
的 专业 学 习 才 可 熟练 应 用 ， 且 使 用 复杂 ， 开 发 周期 长 ”"， 并 不 适合 LAMOST 当前 迫切 的 数据 
检索 需求 。 结 合 实际 ， 本 文 提出 了 一 种 异 构 环 境 信息 快速 检索 方法 。 

本 文 首先 简要 介绍 LAMOST 环境 信息 的 组 成 ， 然 后 在 第 1 节 介 绍 异 构 环境 信息 检索 系统 
的 组 成 和 总 体 设计 ， 系 统 各 模块 的 实现 以 及 整体 系统 的 部 署 和 测试 在 第 2、3 节 进 行 详细 的 
介绍 ， 最 后 总 结 系统 在 LAMOST 中 的 应 用 ， 并 讨论 LAMOST 更 多 核心 数据 统一 检索 的 可 行 性 。 
1 系统 功能 及 设计 

异 构 环境 信息 检索 系统 通过 对 异 构 数 据 库 中 环境 信息 的 整理 、 归 纳 , 屏蔽 内 部 信息 的 复 
杂 性 ,统一 并 简化 检索 语句 , 减少 数据 读 取 的 出 错 概率 。 本 系统 的 研发 骨 在 保证 原 有 数据 安 
全 的 基础 上 ， 开 发 多 种 检索 途径 ， 快 捷 、 精 准 获取 数据 ， 提 高 工作 效率 。 

LAMOST 有 异 构 环境 信息 检索 系统 根据 不 同 检索 需求 分 为 三 部 分 : 信息 资源 层 、 服 务 层 以 
及 应 用 层 ， 如 图 2. 
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图 2 系统 架构 图 


Figure 2 The system architecture 

信息 资源 层 包含 数据 库 代 理 对 和 象 工 三 模块 和 数据 库 异 步 代 理 模 块 ,数据 库 代 理 对 象 工厂 
模块 负责 维护 现 有 的 数据 库 以 及 可 检索 信息 ， 数 据 库 异步 代理 模块 负责 MySQL、PostgreSQL 
等 多 种 数据 库 的 代理 。 

应 用 层 为 环境 信息 检索 请 求 者 , 分 为 终端 客户 端 和 web 客户 端 两 种 。 终 端 客户 端 通过 命 
令 行 检索 ，web 客户 端 通过 web 浏览 器 检索 和 展示 结果 。 

服务 层 为 环境 信息 检索 服务 器 , 用 于 接收 客户 端的 检索 请 求 ， 并 根据 请 求 内 容 转换 为 指 
定数 据 库 类 型 的 检索 语法 ， 最 后 将 整合 后 的 结果 返回 请 求 者 。 
2 系统 实现 

在 研发 过 程 中 ， 根 据 功 能 分 工 ， 系 统 划分 为 数据 库 代 理工 厂 模块 、 接 收 模 块 、 命 令 检查 
模块 、 命 令 解 析 模 块 、 结 果 汇 总 模块 以 及 应 用 模块 。 各 模块 间 互 相 解 契 ， 简 化 了 逻辑 控制 。 
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2.1 系统 研发 及 运行 环境 

LAMOST 异 构 环 境 检 索 系 统 在 Python 3.7 开发 环境 下 进行 研发 ， 可 在 多 种 Linux 系列 操 
作 系 统 上 运行 。 经 过 多 方 调研 ， 根 据 实际 工程 需求 ， 我 们 主要 采用 以 下 Python 第 三 方 资源 
库 : 

Asyncio: python3.7 的 异步 协 程 标准 库 ， 为 大 量 第 三 方 资源 库 提供 异步 协 程 支持 。 协 
程 是 由 程序 开发 人 员 自 主 调度 和 控制 ,在 用 户 态 执行 的 一 段 代码 ， 具 有 极 高 的 执行 效率 ， 非 
常 适合 高 并 发 型 的 网 络 通信 "”。 

Aiomysql, aiopg, aiosqlit: Python3.7 中 三 个 支持 数据 库 异 步 操作 的 资源 库 ， 分 别 
用 于 支持 MySQL. PostgreSQL. SQLite 数据 库 的 异步 操作 。 

Pyzmq:ZeroMQ 在 Python 中 的 开发 库 。 作 为 一 种 高 性 能 开源 的 消息 中 间 件 , ZeroMQ 具有 
丰富 的 通信 资源 库 ， 且 多 种 提供 多 种 通信 模式 ， 可 满足 多 种 的 通信 业务 需求 ”。 
2.2 接收 模块 

接收 模块 是 一 个 异步 协 程 服务 器 , 负责 接收 客户 端的 检索 请 求 ， 并 将 检索 结果 返回 检索 
请 求 者 。 

根据 请 求 来 源 ， 检 索 分 为 望远镜 内 网 、 国 家 天 文 台 内 网 及 广 域 互联 网 三 种 方式 ， 其 中 望 
远 镜 内 网 检索 是 最 主要 的 工作 方式 。 为 确保 系统 提供 稳定 的 环境 信息 , 系统 对 外 网 检索 请 求 
数量 进行 了 限制 ， 一 旦 检索 请 求 到 达 限 制 数 量 ， 则 拒绝 新 的 请 求 连接 。 

2.3 数据 模块 

数据 模块 分 为 数据 库 代理 对 象 工厂 模块 和 异步 数据 代理 模块 两 部 分 。 

LAMOST 观测 和 维护 对 环境 数据 检索 需求 基本 固定 ， 综 合 常见 检索 需求 ， 系 统 设 置 了 数 
据 库 代理 对 象 工厂 模块 。 如 图 3 ran, 该 模块 为 自 定义 虚拟 数据 库 ， 对 当前 所 有 数据 库 进 行 
编号 ， 以 自 定义 检索 数据 名 为 关键 字 ， 映 射 检索 数据 相对 应 的 数据 库 及 字段 名 称 。 

数据 库 异 步 代 理 模块 是 数据 库 在 系统 中 的 代理 ,负责 具体 的 数据 检索 和 结果 接收 。 根据 
数据 库 类 型 ， 数 据 库 异步 代理 模块 分 为 MySQL 异步 代理 、PostgreSQL 异步 代理 以 及 SQLite 
异步 代理 。 为 提高 数据 库 利 用 率 ， 每 个 代理 模块 各 维护 一 个 有 多 个 数据 库 连 接 的 连接 池 ， 确 
保 多 个 客户 端的 实时 检索 。 
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[DB] 


sqll pool minsize 
sqll pool maxsize 


1 
5 


sqll host = iz! 
sqll user = BE 
sqll_password =E 


sqll_db 


sql2_pool_minsize 
sql2_pool_maxsize 


I 
5 


(LE 


sql2 host = i” 
sql2 user = MA 
sql2_password =M 


sql2_db 


sql3_pool_minsize 
sql3_pool_maxsize 


= ass 


1 
5 


sql3 host = M 
sql3 user = M 
sql3 password -SBE 


sql3_db 


sql4 pool minsize 
sql4 pool _maxsize 


1 
5 


sql4 host = ME 
sql4 user =M 
sql4 password =M 


2.4 命令 检查 模块 


AA 
命令 
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[GUIDE2 SEEING INFO] 
ccd2 seeing = fwhm, datatime, ccd2imagesfwhm, assimagesfwhmnew, 2 


[GUIDE3 SEEING INFO] 
ccd3 seeing = fwhm, datatime, ccd3imagesfwhm, assimagesfwhmnew, 2 


[FP_POSITION INFO] 
fp pos = fppos, datatime, fp_run, ass, 2 


[AO_INFO] 
ao = value, timestamp, wavefrontdata, active optic, 2 


[3D_WIND_INFO] 
3d_windspeed avgl 
3d windspeed avg2 


avg ws, date, avg data, wind sonic, 1 
avg ws, date, avg data, wind sonic, 1 


[WEATHER INFO] 

temperature = temp, time, weather data new, ambient, 1 

pressure = pres, time, weather data_new, ambient, 1 

humidity rhum, time, weather data new, ambient, 1 

dewpoint dewpoint, time, weather data new, ambient, 1 
windspeed avg winds avg, time, weather data new, ambient, 1,3 
windspeed min winds min, time, weather data new, ambient, 1,3 
windspeed_ max winds max, time, weather data new, ambient, 1,3 
winddirection windd avg, time, weather data new, ambient, 1,3 


[GUIDE MAX MAY _FP_INFO] 
guide max = maX, obsdate, obstime, asscal_ma fp, ass, 2 
guide may maY, obsdate, obstime, asscal_ma fp, ass, 2 


图 3 数据 库 和 命令 映射 


Figure 3 The map of database and command 


检查 模块 负责 命令 格式 、 内 容 和 权限 的 审核 。 由 于 数据 库 检 索 需 求 多 样 化 、 检 索 者 
身份 权限 也 不 相同 ,因此 数据 库 检 索 的 便携 性 和 安全 性 尤为 重要 。 表 1 为 自 定义 简化 检索 命 


令 格式 ， 只 有 符合 格式 的 命令 才 可 进行 下 一 步 的 操作 。 为 提高 数据 安全 性 ， 本 系统 对 用 户 提 
交 的 检索 请 求 进行 安全 性 检查 ， 仅 允许 对 数据 库 采 取 检 索 操 作 。 


#1 自 定 义 检索 命令 格式 


Table1 Custom search command format 


select <name> <start time> <end time> 


Command format Note 
select <name> Data within 24 hours 
select <name> <new> The newest data 


select <name> <start time> 


Data from start time to current time 


Data from start time to end time 


2.5 命令 解析 模块 
命令 解析 模块 负责 对 检索 命令 的 解析 、 转换 及 异步 数据 库 代 理 的 选择 。 数 据 库 代理 对 象 


工厂 模块 


FP 没 有 其 体 的 望远镜 运行 环境 信息 。 根据 检索 内 容 , 解析 模块 在 数据 库 代 理 对 象 工 


Ph 获取 数据 所 在 的 数据 库 信息 及 对 应 的 字段 名 , 重新 构造 检索 语句 后 , 根据 数据 库 信 


三 模块 
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息 选 择 异 步 数 据 库 代 理 ， 将 检索 语句 提交 给 代理 进行 具体 检索 操作 。 
2.6 结果 汇总 模块 

结果 汇总 模块 负责 对 检索 结果 的 整理 和 转换 。 数 据 库 异步 代理 模块 将 检索 结果 返回 后 ， 
结果 汇总 模块 会 将 其 转化 为 统一 的 自 定义 结构 ， 便 于 应 用 层 数 据 的 接收 和 整理 。 
2.7 应 用 模块 

应 用 模块 主要 用 于 检索 命令 的 提交 和 检索 结果 的 展示 ， 根 据 作用 可 分 为 命令 客户 端 和 
web 客户 端 两 种 方式 。 

LAMOST 内 部 有 数 百 台 计 算 机 ， 操 作 系 统 种 类 繁多 ， 为 每 台 计 算 机 安装 一 个 客户 端 ， 工 
作 量 非常 大 ,不 合 实际 。 由 于 工作 人 员 在 望远镜 维护 中 只 需 检索 环境 数据 ,无 需 进 一 步 的 分 
析 和 记录 ， 我 们 利用 Linux 和 MacOS 操作 系统 自 带 的 NetCat 工具 包 实 现 运 行 环境 数据 的 检 
索 。Windows 系统 可 以 通过 网 络 下 载 NetCat 工具 包 ， 经 过 简单 的 系统 设置 即 可 使 用 。 图 4 
为 NetCat 用 命令 行 方式 检索 运行 环境 信息 。 

HTTP 代理 模块 为 外 部 检索 访问 提供 web 服务 , 我 们 使 用 apache httpd 作为 web 服务 器 。 
如 图 5 所 示 ，http 代理 接受 浏览 器 发 送 的 http 请 求 后 ,将 其 转化 成 自 定义 检索 命令 并 发 送 
至 服务 层 ， 并 将 服务 层 的 检索 结果 转化 成 http 后 返回 给 浏览 器 ， 由 浏览 器 展现 。 


应 用 程序 ”位 着 。 终端 S @ * 28-uizs Ano 
w2@tocathost:~/project/python/test = 


文件 (F) RCE) 查看 (V) 搜索 (5) SEMT) 帮助 (H) 
[wz@localhost test] $ nc 10. 0. 10. 128 50000 

select fp_pos 2020- 03- 16Too: 00: 00 2020- 03- 16Too: 02: 00 

2020- 03- 16 00:00:08, 41. 092597; 2020-03-16 00: 00: 28, 41.092554; 2020-03-16 00:00:48, 41.092544; 2020-03-16 00:01:08, 41. 092527; 
2020- 03- 16 00:01: 28, 41. 092518; 2020-03-16 00:01:48, 41. 092505 


图 4 命令 客户 端 检索 


Figure 4 Search data through command client 


图 5 Web 检索 界面 


Figure 5 Search data though Web client 
3 系统 测试 
为 验证 该 系统 是 否 满足 LAMOST 运行 环境 信息 的 检索 需求 , 我 们 将 其 部 署 于 LAMOST 内 一 
全 多 网 段 服务 器 上 ， 为 不 同 网 域 提供 检索 服务 。 图 7 为 系统 部 署 网 络 拓扑 图 ， 该 系统 可 同时 
向 LAMOST 内 网 、 国 家 天 文 台 内 网 以 及 外 部 互联 网 提供 检索 服务 。 
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图 6 系统 部 署 网 络 拓扑 
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Multi Segment Servers 


ExtraNet 


图 


Figure 6 The network topology of system 
多 网 段 服务 器 配置 为 Intel Xeon 处 理 器 (4 个 CPU， 每 个 14 核 ) ，1286 内 存 ， 同 数据 
库 一 起 部 署 在 LAMOST 望远镜 内 部 ,LAMOST 内 网 测试 电脑 配置 为 Intel Core i3-2100( 双 核 )， 
4G 内 存 。 国 家 天 文 台 内 网 和 外 网 测试 电脑 配置 为 Intel Core i7-4790 OXX) , 166 内 存 。 


由 于 该 服务 器 承担 着 其 他 网 络 传输 及 数据 处 理 任务 ,为 了 不 影响 正常 使 用 ,每 网 络 段 由 100 


个 客户 端 同 时 检索 ， 每 个 客户 端 执行 3000 次 检索 请 求 。 


如 图 7 所 示 ， 检 索 30 万 次 ，172 网 段 总 用 时 9. 936s， 平 均 耗 时 0.033ms; 10 网 段 总 用 


时 14. 448s, 平均 耗 时 0. 048ms; 外 网 总 用 时 21. 155s, 


平均 耗 时 0. 07lms。 服 务 器 在 此 期 间 


CPU 占用 率 为 43. 5%, 内 存 消耗 可 忽略 不 计 。 昌 然 外 网 平均 检索 用 时 最 多 , 但 是 0. 07lms 的 检 


索 速 度 完全 满足 工作 需求 ， 服 务 器 资源 消耗 低 ， 不 影响 其 他 应 用 的 正常 运行 。 
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172 Segment 10 Segment ExtraNet 


图 8 三 网 段 检索 性 能 测试 


Figure 7 Search performance of three network segments 


4 总 结 和 展望 

本 系统 采用 了 最 新 python 3.7 的 异步 协 程 特性 ， 降 低 了 信息 的 获取 难度 ， 提 高 了 系统 
否 吐 能 力 ; 通过 数据 库 代 理 对 象 工厂 模式 ， 整 合 多 种 数据 库 ， 增 强 了 系统 的 可 扩展 性 ; 使 用 
自 定义 检索 命令 的 方式 简化 了 用 户 检 索 接口 , 提高 了 友好 性 , 方便 工作 人 员 及 时 掌握 望远镜 
运行 环境 信息 ; 使 用 命令 得 查 制 度 ， 保 护 大 型 望远镜 内 部 运行 时 细节 不 暴露 ， 提 高 服务 精度 
并 维护 数据 的 安全 性 。 

本 系统 为 将 来 对 LAMOST 所 有 数据 库 统一 管理 提供 了 基础 框架 ， 并 设置 了 多 种 数据 库 接 
口 ， 方 便 信 息 资 源 的 后 期 扩展 。 
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Design and Implementation of Heterogeneous Environment 


Data Retrieval system for LAMOST 
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Abstract: The environment data is an important part of Large Sky Area Multi-Object Fiber 
Spectroscopy Telescope (LAMOST) for daily maintenance of the telescope,observation and the 
offline data processing. The environmental information is obtained from different subsystems 
designed by different institutes. The environment data storage formats are different and recorded 
in different databases, which makes them difficult to retrieve through a consistent interface. In this 
work, we designed a asynchronous coroutines system for the environment data retrieval from the 
LAMOST heterogeneous databases. This system creates a database agent factory module to 
collect the base information of the environment databases and the retrieve keywords of the 
environment data. This advantage makes it easier to composite the content of the retrieval data for 
different users and more convenient to upgrade the databases in the future.In last summer, by 
using the system in the operation and maintenance of LAMOSTvusers can retrieve the 
environment data via a client with custom commands or a web browser interface,that makes the 
operation of data retrieve of environmental information is easier;the content of the retrieval data is 
richer;the result of the data is more accurate,and finally improved the maintenance and 
observation efficiency of the telescope. 


Key words: Data Retrieve;Asynchronous coroutines; LAMOST; 


